Grundrechte in Gefahr: Die sieben quälendsten Fragen zur KI-Verordnung

Fast ist die KI-Verordnung (auf Englisch: AI Act) beschlossene Sache. Sie soll das weltweit erste Gesetz werden, das sogenannte Künstliche Intelligenz umfassend reguliert. Doch auf den letzten Metern gibt es Streit. Erst jetzt kursiert nämlich der Text zur vorweihnachtlichen Einigung zwischen Kommission, Parlament und Rat. Und der ist deutlich weniger besinnlich als zunächst angenommen.

Fachleute warnen vor Massenüberwachung durch unerwartet große Lücken für Grundrechte. Manche Politiker*innen versuchen nun, doch noch an der Einigung zu rütteln. Der Weg zu Europas grundlegender KI-Gesetzgebung ist mühsam – und die quälendsten Fragen beantworten wir hier.

• 1. Die Einigung war doch vor Weihnachten, wieso hagelt es jetzt Kritik?
• 2. Gesichtserkennung: Wie schlimm wird es?
• 3. Emotionserkennung: Was droht hier?
• 4. Migrationskontrolle: Wie schlimm ist es?
• 5. Nationale Sicherheit: Was dürfen Staaten alles machen?
• 6. Ist an dem Gesetz auch irgendetwas gut?
• 7. Lässt sich jetzt überhaupt noch etwas ändern?

1. Die Einigung war doch vor Weihnachten, wieso hagelt es jetzt Kritik?

Das liegt vor allem daran, dass nach den Trilog-Verhandlungen wochenlang nicht klar war, worauf sich Kommission, Parlament und Rat genau geeinigt haben. Wenn drei Organe mit Vertreter*innen aus 27 EU-Ländern gemeinsam Gesetze schmieden, wird es schnell unübersichtlich – im Fall der KI-Verordnung war es geradezu chaotisch.

Bereits der Gesetzentwurf der EU-Kommission war lang und verwinkelt. Die Verhandler*innen haben das nicht einfacher gemacht, sondern vor allem Schnörkel und Klauseln hinzugezimmert, wie das inzwischen öffentliche, knapp 900-seitige PDF anschaulich zeigt. Dort lassen sich die Versionen von Kommission, Parlament, Rat und Trilog nebeneinander nachlesen.

Die vorläufige Einigung am 9. Dezember geschah nach „dreitägigen Marathonverhandlungen“, schrieb der Rat., mitunter wurde 22 Stunden am Stück verhandelt. Sichtlich müde, aber mit gerecktem Daumen ließen sich die Verhandler*innen danach für die Presse fotografieren.

Misstrauen an der Daumen-hoch-Stimmung gab es schon damals: Es sei „zu früh zum Feiern“, schrieb etwa EDRi, der Dachverband von Organisationen für digitale Freiheitsrechte in Europa. Noch immer ist der Text nicht final. Es ist üblich, dass auch nach einer Einigung im Trilog an juristischen und technischen Details gefeilt wird.

Weniger üblich ist jedoch, dass Verhandler*innen dabei aus allen Wolken fallen. Genau das ist bei der KI-Verordnung aber passiert: Manche Abgeordnete des EU-Parlaments erkannten die angeblich getroffene Trilog-Einigung nicht wieder, als sie später den dazu gehörigen Kompromisstext vor Augen hatten, verfasst von der spanischen Ratspräsidentschaft. „Wir wurden über den Tisch gezogen“, hieß es aus dem Umfeld der Verhandlungsdelegation. Der Ärger bezieht sich vor allem auf die Regeln zur biometrischen Überwachung, bei denen von der einst starken Parlamentsposition kaum etwas übrig geblieben ist.

2. Gesichtserkennung: Wie schlimm wird es?

Bei diesem Thema kann es sehr ernst werden. Auch wenn es zeitweise anders lautende Hoffnungen gab: Die KI-Verordnung bringt weder ein Verbot noch eine strenge Einschränkung von biometrischer Überwachung. Das heißt, EU-Staaten dürfen aus sehr vielen Gründen viele Menschen überwachen und anhand ihrer körperlichen Merkmale identifizieren, zum Beispiel mit Hilfe öffentlicher Kameras. Gesichtserkennung ist dabei bloß die bekannteste Methode; man kann Menschen etwa auch durch ihre Art zu gehen, eindeutig voneinander unterscheiden.

Die KI-Verordnung erlaubt biometrische Echtzeit-Identifikation auch dann, wenn nur die Annahme besteht, dass etwas Schlimmes passieren könnte. In der Verordnung steht hierzu: um eine „spezifische, erhebliche und unmittelbare“ Bedrohung für die physische Sicherheit einer Person zu verhindern (Artikel 5(1), (d)). Auch die Suche nach Verdächtigen bestimmter Straftaten ist demnach ein legitimer Grund für biometrische Echtzeit-Überwachung. Dazu zählen laut Kompromisstext etwa Mord, schwere Körperverletzung oder „Kinderpornografie“. Zuvor müsse allerdings eine zuständige Behörde den Einsatz der Technologie erlauben, das nennt man Richtervorbehalt. Als besonders hohe Hürde gilt dieser Schritt in der Praxis aber nicht.

Noch laxer ist die KI-Verordnung, wenn die Überwachung nicht in Echtzeit passiert, sondern nachträglich („retrograd“). Denkbar wäre etwa, hierfür archivierte Aufnahmen von Überwachungskameras zu durchleuchten. In solchen Fällen dürfen Menschen biometrisch identifiziert werden, sobald sie einer Straftat verdächtigt sind. Für die erstmalige Identifizierung braucht es dem Text zufolge keine besondere Genehmigung. Erst wenn Ermittler*innen eine bereits bekannte, gesuchte Person identifizieren möchten, sollen sie dafür eine behördliche Erlaubnis einholen. Das geht allerdings auch nachträglich, dafür dürfen sie sich 48 Stunden Zeit lassen (Artikel 29(6a)).

Die Kritik daran ist harsch. „Die retrograde biometrische Identifizierung von Personen ist nahezu ohne rechtsstaatliche Hürden wie eine vorherige richterliche Genehmigung und bereits für kleinste Bagatelldelikte möglich“, warnt die Europa-Abgeordnete Svenja Hahn (FDP) gegenüber heise online. Das von mehreren zivilgesellschaftlichen Organisationen getragene Bündnis „Reclaim Your Face“ spricht von beispielloser dystopischer Massenüberwachung in der EU.

Der Bundesdatenschutzbeauftragte Ulrich Kelber (SPD) schreibt auf Anfrage von netzpolitik.org: „Dies könnte gravierende Auswirkungen auf die Erwartung der Bevölkerung haben, im öffentlichen Raum anonym zu bleiben, womit wiederum direkte negative Auswirkungen auf die Ausübung der Meinungs-, Versammlungs- und Vereinigungsfreiheit sowie der Freizügigkeit einhergehen.“

Der Europa-Abgeordnete Patrick Breyer (Piraten) befürchtet, die Verordnung führe Europa „in eine dystopische Zukunft eines misstrauischen High-Tech-Überwachungsstaats“, und nennt konkrete Beispiele : „So wird es Städten möglich, unter dem Schlagwort ‚Hausfriedensbruch‘ Obdachlose zu verdrängen, wie im italienischen Como geschehen, oder Sprayer wegen ‚Sachbeschädigung‘ zu verfolgen.“ Anderes Beispiel: In Großbritannien machen Supermärkte schon jetzt mit Gesichtserkennung Jagd auf Ladendiebe.

Die Polizei in Deutschland setzt seit langem Gesichtserkennung ein, jährlich werden damit Tausende Personen identifiziert. Es gibt jedoch Streit darüber, in welchem Umfang das legitim ist. Ein prominenter Fall war die biometrische Datenbank mit den Gesichtern tausender Menschen, die Hamburg während der Proteste zum G20-Gipfel im Jahr 2017 angelegt hatte. Der dortige Datenschutzbeauftragte setzte sich dafür ein, dass diese Datenbank gelöscht wird; passiert ist das erst im Jahr 2020.

Breyer warnt außerdem, dass Gesichtserkennung immer wieder zu falschen Festnahmen führt – dafür gibt es inzwischen mehrere Beispiele aus den USA. Den einst erhofften Schutz vor solchen Problemen bietet die KI-Verordnung nicht.

3. Emotionserkennung: Was droht hier?

Das EU-Parlament wollte unbedingt ein weitreichendes Verbot von Systemen zur Emotionserkennung in der EU. Sie sollten an Schulen und Universitäten, am Arbeitsplatz, bei Sicherheitsbehörden und auch in der Grenzkontrolle auf die Verbotsliste gesetzt werden. Übrig geblieben ist jetzt nur noch ein Verbot im Bildungsbereich und bei der Arbeit (Artikel 5(1), (d)(iiic)). Für den Einsatz der wissenschaftlich geächteten Technologie in der Polizeiarbeit und bei Grenzkontrollen gibt die Verordnung dagegen grünes Licht, ebenso wie in anderen Bereichen. Zwar gilt Emotionserkennung laut dem Kompromisstext als „hochriskant“ und ist damit vielen Auflagen unterworfen, doch verboten ist sie nicht.

Technologien zur Emotionserkennung versprechen eine Menge: Studierende vor dem Bildschirm überwachen, mutmaßlich aggressive Personen aus einer großen Menschenmenge fischen oder Menschen vor der Einreise beim angeblichen Lügen ertappen. Doch aus wissenschaftlicher Sicht hat Emotionserkennung einen ziemlich miesen Ruf, um es vorsichtig zu formulieren. Viele Fachleute sagen, es gebe schlicht keinen Nachweis dafür, dass man aus Regungen des Gesichtes auf tatsächliche Gefühle einer Person wie Wut oder Angst schließen kann. Zu diesem Schluss kam auch eine groß angelegte Meta-Studie aus dem Jahr 2019, die alle bis dahin durchgeführten Untersuchungen miteinander verglich. Kritiker*innen sprechen bei der Emotionserkennung von „Junk Science“, wissenschaftlichem Müll.

Noch dazu greifen die Technologien tief in eine Reihe von Grundrechten ein, wie das Recht auf Privatsphäre oder auch das Recht, die Aussage zu verweigern. Erlaubt wäre mit dem jetzigen Text etwa weiterhin, sogenannte „Lügendetektoren“ an den EU-Außengrenzen zu platzieren, wie die EU das bereits von 2016 an mit einem Pilotprojekt in Ungarn, Litauen und Griechenland erprobt hat. Das „Täuschungserkennungsystem“ sollte die kaum wahrnehmbare Gesichtsausdrücke von Einreisenden analysieren, um zu überprüfen, ob sie bei der Frage nach ihrem biografischen Hintergrund die Wahrheit sagen. Das Forschungsprojekt wurde 2019 beendet und ist nie in den Normalbetrieb gegangen. Sollte eine solche Technologie jedoch in Zukunft wieder zum Einsatz kommen, müssten Betroffene lediglich darauf hingewiesen werden, dass sie hier einem System zur Emotionserkennung gegenübersitzen.

Ella Jakubowska vom Dachverband EDRi kritisiert außerdem, dass selbst für die Bereiche Bildung und Arbeit Ausnahmen geschaffen wurden, um die Technologie dennoch einzusetzen – laut Kompromisstext aus „medizinischen oder Sicherheitsgründen“. Auf Anfrage schreibt uns Jakubowska: „Da diese Gründe die häufigste Rechtfertigung für den Einsatz von Emotionserkennungssystemen sind, befürchten wir, dass das KI-Gesetz der EU die KI-gestützte Emotionserkennung nicht verbietet, sondern vielmehr legitimiert und einen Markt für ihren Einsatz schafft.“

4. Migrationskontrolle: Wie schlimm ist es?

Der Trend, der sich schon in der Emotionserkennung abzeichnet, setzt sich auch bei der Migrationskontrolle fort: Menschen auf der Flucht können von der KI-Verordnung kaum Schutz erwarten. Die zumindest grundlegenden Einschränkungen für Gesichtserkennung im öffentlichen Raum? Gelten ausdrücklich nicht für Grenzkontrollen, da Grenzen laut Kompromisstext nicht Teil des „öffentlichen Raums“ seien (Erwägungsgrund 9). Mindestens zwei Menschen, die vor einer Entscheidung die Prognose eines KI-Systems überprüfen? Das schreibt die Verordnung zwar für alle als hochriskant geltenden Bereiche vor – nicht aber bei „Strafverfolgung, Migration, Grenzkontrolle oder Asyl“ (Erwägungsgrund 48).

Es gibt noch mehr Regeln, die ausdrücklich nicht für Migrationskontrolle gelten. Wer riskante KI-Systeme einsetzt, ist laut KI-Verordnung eigentlich zu Transparenz verpflichtet und muss sich in einer öffentlichen Datenbank registrieren – kritische Beobachter*innen hatten das gefordert. Für „Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement“ gibt es jedoch diese Transparenz nicht: Hier sollen „die Registrierungspflichten in einem sicheren, nicht-öffentlichen Bereich der Datenbank erfüllt werden.“ Einblick in diese Hochsicherheitszone des Transparenzregisters haben dann weder Öffentlichkeit noch Presse, nur noch die Kommission und die nationale Aufsichtsbehörde.

So lässt die EU am Ende gerade dort eine bemerkenswerte Lücke, wo Menschen ganz besonders auf gesetzlichen Schutz angewiesen wären. Insgesamt sei das Gesetz in Bezug auf die Migration „sehr enttäuschend“, sagt Ella Jakubowska von EDRi. „Die Tatsache, dass das Gesetz den Einsatz vieler strafbarer KI-Instrumente gegen Menschen auf der Flucht legitimiert, ist wirklich besorgniserregend.“ Die Ausnahmen an diesen Stellen suggerierten, „dass Menschen auf der Flucht nicht die gleichen Rechte verdienen wie alle anderen“.

In den einleitenden Worten zum Gesetz, den sogenannten Abwägungsgründen, klingt das noch ganz anders. Dort steht: „KI-Systeme, die bei der Migrations-, Asyl- und Grenzkontrolle eingesetzt werden, betreffen Menschen, die sich häufig in einer besonders verletzlichen Lage befinden und vom Ergebnis der Maßnahmen der zuständigen Behörden abhängig sind“ (Erwägungsgrund 39). Dementsprechend sollten zumindest einige dieser Systeme als hochriskant eingestuft werden. Doch auf diese wohlklingenden Sätze folgt im Gesetzestext selbst eher Eiseskälte.

5. Nationale Sicherheit: Was dürfen Staaten alles machen?

Ein besonders großes Schlupfloch bietet die KI-Verordnung in Fällen der „nationalen Sicherheit“. Diese schwammige Formel kann herangezogen werden, um Ausnahmen zu definieren, bei denen der Einsatz von Künstlicher Intelligenz dennoch erlaubt ist. Konkret heißt es in Artikel 2:

„Diese Verordnung gilt nicht für KI-Systeme, die entwickelt oder verwendet werden, wenn und soweit sie ausschließlich für militärische, verteidigungspolitische oder die nationale Sicherheit betreffende Zwecke in Verkehr gebracht, in Betrieb genommen oder mit oder ohne Änderung solcher Systeme verwendet werden, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.“

Die KI-Verordnung verweist hier auf den Gründungsvertrag der EU (Vertrag über die Europäische Union, EUV), wonach ausschließlich die Mitgliedstaaten für ihre nationale Sicherheit zuständig sind (Erwägungsgrund 12a).

Die Sache hat jedoch einen großen Haken: Der Begriff der nationalen Sicherheit ist europaweit nicht klar definiert. Die einzelnen Mitgliedstaaten können daher solche Fälle mit Verweis darauf weitgehend eigenmächtig bestimmen und sich damit den Einsatz von laut KI-Verordnung eigentlich verbotenen Systemen selbst genehmigen.

Autokratische EU-Regierungen wie jene in Ungarn könnten dann nach Belieben selbst gefährlichste KI-Systeme einsetzen, etwa anlasslose biometrische Massenüberwachung oder Social Scoring für EU-Bürger:innen.

Dass dem Einsatz gefährlichster KI-Technologien damit keine Schranken gesetzt sind, zeigt auch die staatliche Spionagesoftware Pegasus, angeboten von der israelischen NSO Group. Diese Technologie wurde laut Herstellerangaben ausschließlich für Zwecke der nationalen Sicherheit entwickelt. Längst aber ist bekannt, dass damit auch Oppositionelle, Journalist*innen und Dissident*innen in der EU ins Visier genommen werden. Nicht nur in Ungarn und Polen, sondern auch in Griechenland und Spanien.

Der urprüngliche Verordnungsentwurf der EU-Kommission zur KI-Verordnung sah keine Ausnahme für die nationale Sicherheit vor. Und auch das EU-Parlament hatte die Gefahr erkannt und in seiner Position nur Ausnahmen für militärische Nutzung vorgesehen. Der Rat hat sich aber offenbar auch in dieser Frage durchgesetzt und die „nationale Sicherheit“ als Ausnahmegrund in den Kompromisstext gehievt.

Noch im September vergangenen Jahres hatten sich 150 Organisationen der deutschen und europäischen Zivilgesellschaft in einem offenen Brief an Bundesjustizminister Marco Buschmann (FDP) und Bundeswirtschaftsminister Robert Habeck (Grüne) gewandt und gefordert: „KI für Zwecke der nationalen Sicherheit darf nicht pauschal von der Verordnung ausgenommen werden“. Sie haben sich nicht durchgesetzt.

6. Ist an dem Gesetz auch irgendetwas gut?

Ja, in der KI-Verordnung stecken neue Rechte für Nutzer*innen und Pflichten für Anbieter von KI-Systemen. So soll sich jede Person bei ihrer nationalen KI-Aufsichtsbehörde beschweren dürfen, wenn sie ihre Rechte verletzt sieht. Anbieter von besonders riskanten KI-Systemen müssen ihre Technologien auf Risiken prüfen, ausreichend transparent gestalten und unter menschliche Aufsicht stellen.

Der Bundesdatenschutzbeaufragte Ulrich Kelber schreibt, die KI-Verordnung stärke auch den Schutz der Grundrechte, insbesondere den Datenschutz im Zusammenspiel mit der Datenschutz-Grundverordnung (DSGVO).

Das Verbot von öffentlich zugänglichen Gesichtersuchmaschinen hat es auch in den Kompromisstext geschafft (Artikel 5(1), (d)(iiib)). Über den Vorstoß des Parlaments haben wir vergangenen Sommer berichtet. Nicht erlaubt ist demnach „das ungezielte Auslesen von Gesichtsbildern aus dem Internet“, um daraus Datenbanken zur Gesichtserkennung zu erstellen.

Erfreulich ist außerdem, dass der Kompromisstext ein Verbot von Predictive Policing vorsieht. Predictive Policing beschreibt den Versuch, aus polizeilichen Daten Vorhersagen abzuleiten. In Deutschland ist die Technologie bereits seit längerem im Einsatz. In den vergangenen Jahren hatte unter anderem die Menschenrechtsorganisation Amnesty International gezeigt, dass Predictive Policing in Großbritannien und in den Niederlanden zu Massenüberwachung, Fehlentscheidungen und Diskriminierung führt.

Die Trilog-Einigung im Dezember sah noch vor, solche Systeme als Hochrisiko-Technologie zu kategorisieren und damit ihren Einsatz unter Einschränkungen zu erlauben. Nun steht im Kompromisstext ein Verbot von Predictive Policing (Artikel 5(1), (d)(iiia)).

Konkret geht es dabei um die „Verwendung eines KI-Systems zur Risikobewertung natürlicher Personen, um das Risiko einer natürlichen Person, eine Straftat zu begehen, zu bewerten oder vorherzusagen, und zwar ausschließlich auf Grundlage der Erstellung eines Profils einer natürlichen Person oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften“.

Ungeachtet dieses Verbots ist jedoch damit zu rechnen, dass einzelne EU-Staaten diese Technologie mit Verweis auf die „nationale Sicherheit“ künftig dennoch einsetzen werden.

Nach wie vor hat die EU die Hoffnung, mit der KI-Verordnung einen großen Wurf zu landen, immerhin arbeiten weltweit gerade mehrere Staaten an ihren eigenen KI-Gesetzen. Die KI-Verordnung sei „wegweisend“, schreibt etwa Europa-Abgeordnete Alexandra Geese (Grüne), sie enthalte wichtige Bestimmungen zum Schutz von Grundrechten.

Dahinter steckt auch die Annahme, dass die EU mit ihren Gesetzen andere Länder beeinflussen kann, der sogenannte Brüssel-Effekt. „Die EU schreibt Geschichte“, heißt es auch vom Bündnis „Reclaim Your Face“ – allerdings mit dem bitteren Zusatz: „aus den falschen Gründen“.

7. Lässt sich jetzt überhaupt noch etwas ändern?

Ja, einiges. Sobald die KI-Verordnung verabschiedet wurde, sind die Mitgliedstaaten wieder am Zug. Und die können manche Lücken zumindest innerhalb ihrer eigenen Grenzen stopfen. Zur biometrischen Identifizierung heißt es in der Verordnung ausdrücklich, Mitgliedstaaten können strengere Gesetze erlassen. Der Bundesdatenschutzbeaufragte schreibt: Die Bundesregierung sollte diese Klausel nutzen.

Passend dazu steht im Koalitionsvertrag der Ampel-Regierung : „Flächendeckende Videoüberwachung und den Einsatz von biometrischer Erfassung zu Überwachungszwecken lehnen wir ab. Das Recht auf Anonymität sowohl im öffentlichen Raum als auch im Internet ist zu gewährleisten.“

Zunächst richtet sich der Blick aber auf die EU. Denn trotz der Einigung im Trilog ist die KI-Verordnung noch nicht beschlossen. Die Mitgliedstaaten im Rat und das Parlament müssen sie noch verabschieden. In der Regel gibt es bei diesen Abstimmungen grünes Licht, da sich Parlament und Rat bereits zuvor geeinigt haben.

In diesem Fall wollen zumindest manche nochmal an der Einigung rütteln. Wie etwa Euractiv und Tagesspiegel Background berichten, ist Frankreich mit der Einigung nicht zufrieden. Das Land hatte sich vehement für industriefreundlichere Regeln eingesetzt. Jetzt tüftele die französische Regierung daran, das Gesetz auf den letzten Metern im Rat zu stoppen, dafür bräuchte es aber mindestens vier Mitgliedstaaten.

Unmut gibt es auch aus Deutschland. So erwarte der digitalpolitische Sprecher der FDP-Fraktion, Maximilian Funke-Kaiser, laut Tagesspiegel Background „von der Bundesregierung eine Ablehnung“, sollte es nicht zu Änderungen kommen. Aus den Reihen von SPD und Grünen gibt es dagegen Signale für eine Zustimmung zur KI-Verordnung, etwa vom digitalpolitischen Sprecher der Grünen-Bundestagsfraktion, Maik Außendorf. Viele scheint die Aussicht abzuschrecken, mitten im KI-Hype plötzlich ohne ein entsprechendes Gesetz dazustehen.

Geduld ist auf jeden Fall gefragt: Selbst wenn die KI-Verordnung beschlossene Sache ist, vergehen dann noch zwei weitere Jahre, bis die neuen Regeln vollständig angewandt werden.